Безмятежные сады Китабатаке когда-то стали местом кровавой резни. Клан Китабатаке, правящий замком Кирияма, в течение 240 лет, охватывающий девять поколений, был уничтожен в 1576 году. Сын Оды Нобунаги, Нобукацу, был усыновлен и женился на семье Китабатаке; однако всего через год он убил семью и вассалов и захватил их замок и владения.
После периода Воюющего государства сад пришел в упадок и в начале периода Эдо практически зарос. Он вновь обрел жизнь благодаря бывшим вассалам клана Китабатаке и местным жителям, воздвигнувшим на этом месте храм. Сегодня сады представляют собой редкий пример элегантности сада даймё периода Сэнгоку.
Каменные мосты прокладывают путь через сады, где мох и деревья покрывают землю. Небольшие пруды, разбросанные по садам, создают освежающий вид, и создается впечатление, будто вы вернулись в период Сэнгоку из-за тишины вокруг вас.